从“词源”到“词元”：AI Agent 时代重新理解 Token 的本质、价值与工作方法

用户给出的极客公园文章《谷歌开了一场「读作 Android，写作 Gemini」的硬件发布会》，表面写的是 Google Android Show 2026，实质讨论的是一个更深的问题：当大模型成为核心能力，原来的操作系统、硬件和应用入口都在被重新解释。文章的主要观点可以概括为四点。

第一，这不是一场传统 Android 发布会，而是一场 Gemini 发布会。文中指出，发布会上最重要的新能力，包括 Gemini 自动操作、用 Gemini 生成桌面小组件、AI 语音输入、Chrome 自动浏览、Android Auto 和新硬件形态，本质都不是 Android 的单点功能，而是 Gemini 的延伸。Android 在这里不再是主角，而是 Gemini 的承载骨架。

第二，Google 正在学习 Apple Intelligence 的硬件绑定路线。苹果在 2024 年把 AI 能力与新一代高端设备绑定，定义了“AI 不是每台设备都天然可用的软件，而是需要本地算力、系统权限和硬件能力支撑的体验”。文章认为，Gemini Intelligence 也开始走向类似逻辑：先给高端 Pixel 和 Galaxy，再扩展到手表、车机、眼镜、笔电。

第三，Googlebooks 代表 Google 试图用 AI 重开 PC 战场。文章提到，Google 拉来 Acer、Asus、Dell、HP、Lenovo 等厂商，试图用 Gemini Intelligence 定义新笔电品类。其关键功能不是传统笔电参数，而是 Magic Pointer、Create My Widget、手机应用投屏、跨设备文件访问等围绕 Gemini 的上下文交互能力。

第四，Android 阵营的 AI 标准制定权已经被削弱。三星有 Galaxy AI，中国厂商有各自的大模型、操作系统和端云协同路线，Google 服务在中国市场缺位。这意味着 Gemini 可以成为 Google 体系内的标准模板，却很难重新统一全球 Android 阵营。文章最后的判断很关键：Android 当年靠开放、低门槛、设备无差别挑战 iOS；但在 AI 时代，它正在走向高端化、分层化和硬件绑定，越来越像自己当年的反面。

这篇文章对我们理解 Token 也有启发。AI 时代真正的底层变化，不只是某个 App 增加了智能功能，而是“操作单位”变了。移动互联网时代，产品竞争围绕屏幕、点击、页面、账号、设备；大模型和 Agent 时代，产品竞争开始围绕 Token、上下文、工具调用、记忆、权限和执行链条。Token 不是一个只属于模型工程师的低层细节，它正在变成 AI 系统的计量单位、成本单位、记忆单位、权限单位和组织知识的接口。

一、先澄清：这里说的不是“词源”，而是“词元”

中文里容易把“Token”翻成“词”“词元”或“标记”。如果说“词源”，通常是 etymology，研究一个词从哪里来；但在大模型语境中，更准确的概念是“词元”或“标记”：模型在输入、输出、计费、上下文管理中处理的基本片段。它可能是一个英文单词，也可能是半个词、一个中文字符、一个空格加词、一个标点、一个代码片段，甚至是图像、音频或视频被模型系统编码后的离散单位。

OpenAI 的帮助文档把 token 解释为模型处理文本的基本单位，常见近似是英文中 1 个 token 大约对应 4 个字符，或 100 个 token 大约对应 75 个英文单词；但这只是粗略经验。Google Gemini API 文档也明确说明，模型上下文窗口以 token 衡量，并提供 countTokens 等方法帮助开发者估算输入规模。对中文、代码、表格、日志、法律文本、科学论文而言，token 数与“字数”“词数”的关系并不稳定。

这点非常重要。人类按篇章、句子、概念理解信息，模型按 token 序列接收信息。人以为自己交给模型的是“一个问题”“一份报告”“一段代码”，模型看到的是一串离散 token，再通过注意力机制、位置编码、上下文窗口和概率分布推断后续 token。理解 Token，就是理解大模型把世界“离散化、压缩化、可计算化”的方式。

二、Token 的技术本质：它是语言与计算之间的接口

Token 的历史可以追溯到自然语言处理中的分词、子词切分和压缩思想。早期 NLP 常以单词为单位，但这会遇到未登录词问题：词表不可能包含所有人名、地名、拼写变体、专业术语和代码符号。后来，Byte Pair Encoding（BPE）等子词方法被引入神经机器翻译，用更小的子词片段表达罕见词；SentencePiece 则进一步把分词做成语言无关、可直接从原始文本训练的 tokenizer。

大模型沿用了并扩展了这一路线。Tokenization 的目的不是“像人一样分词”，而是在词表规模、压缩效率、未知词覆盖、多语言兼容、训练稳定性和推理成本之间做工程折中。词表太大，嵌入矩阵和输出层成本高；词表太小，序列太长，注意力计算成本上升；切分太粗，会损失组合能力；切分太细，会增加上下文负担。一个 tokenizer，本质上是模型看世界的第一层透镜。

这也解释了为什么同样一句话，在不同模型里的 token 数可能不同。不同模型使用不同 tokenizer、词表、训练语料和多模态编码方式。对开发者而言，不能把 token 当作自然语言单位，而要把它当作“模型运行时资源单位”。它决定一次请求能塞进多少上下文，决定长文档是否需要切块，决定 Agent 的历史记录能保留多久，决定 API 成本，也决定系统是否能稳定低延迟运行。

三、Token 的经济本质：它是 AI 时代的新成本账本

在传统软件里，成本主要来自服务器、存储、带宽、人力和授权。在大模型应用里，Token 变成最直接的变量成本。一次问答的成本，不只取决于用户问了什么，还取决于系统提示词多长、检索了多少资料、工具返回了多少内容、历史上下文保留了多少、模型输出了多少字。

这就是为什么 Agent 产品比普通 Chatbot 更容易“烧 token”。一个 Agent 执行任务时，往往不是一次输入一次输出，而是多轮循环：理解目标、制定计划、调用工具、读取网页、分析文件、写入结果、检查错误、再次修正。每一步都会产生输入 token、输出 token、工具结果 token 和历史上下文 token。如果没有设计，Agent 会把无关网页、长日志、重复系统提示、完整历史消息不断塞回上下文，最后表现为成本上升、延迟增加、质量下降。

Prompt caching 的出现，说明行业已经把 token 经济性提升到基础设施层面。OpenAI 和 Anthropic 等平台都提供提示缓存机制，用于降低重复长上下文的成本和延迟。缓存的逻辑很简单：如果系统提示、工具说明、长文档前缀或固定上下文反复出现，就不应该每次都按完整输入重新计算。对企业 Agent 来说，这意味着“上下文结构”会直接影响财务模型。稳定的系统提示、模块化的知识包、可复用的工具描述、分层记忆，都会变成成本优化手段。

所以，Token 不只是技术指标，也是经营指标。一个真正成熟的 AI 应用团队，应该像看 DAU、留存、转化率一样看 token：每次任务平均输入 token、输出 token、缓存命中 token、检索 token、无效 token、失败重试 token、单位任务 token 成本。这些指标决定 Agent 是否能从演示走向生产。

四、Token 的认知本质：上下文不是越长越好

很多人把长上下文窗口理解成“能塞更多资料，所以模型更聪明”。这只说对了一半。长上下文确实让模型能读取更长文档、更大代码库、更多历史记录；但上下文窗口不是知识库，也不是长期记忆。它更像模型临时工作台：放得下，不等于找得准；看得到，不等于用得好。

在 Agent 场景中，真正的问题不是“能放多少 token”，而是“哪些 token 值得进入上下文”。如果把所有资料都塞进去，模型会被噪音干扰，注意力分配变差，推理链条变长，成本和延迟上升。好的 Agent 系统必须学会选择：哪些信息进入短期上下文，哪些进入向量库，哪些进入结构化数据库，哪些压缩成摘要，哪些通过工具实时查询，哪些根本不该保留。

这就是近两年“Context Engineering”被反复讨论的原因。Prompt Engineering 关注如何写好提示词，Context Engineering 关注如何组织模型可见的全部信息：系统规则、用户目标、历史记忆、检索材料、工具输出、执行状态、约束条件、失败记录、权限边界。Token 是这些信息进入模型前的共同载体。换句话说，Agent 的智能不只来自模型参数，也来自上下文编排能力。

从研究角度看，Token 是连接认知科学、信息检索、软件工程和组织管理的交叉点。一个组织的知识如果只是散落在文档、邮件、群聊和表格里，就算拥有长上下文模型，也很难稳定转化为智能。必须把知识切成可检索、可压缩、可引用、可校验的 token 资产，才能真正被 Agent 使用。

五、Token 的产品本质：它改变了人机交互单位

原文讨论 Google 把 Android 变成 Gemini 的硬件骨架，其实也说明了产品入口正在变化。过去用户在系统里点击图标、打开页面、填写表单；未来用户更可能说出意图，由 Agent 读取屏幕、理解应用状态、调用工具、完成跨应用操作。这里的关键不是 UI 消失，而是 UI 后面多了一层 token 化的上下文表示。

当 Chrome 可以自动浏览网页，当 Android 能让 Gemini 生成小组件，当笔电上的 Magic Pointer 能指向任意对象并唤起上下文交互，系统实际上在做一件事：把屏幕、文件、应用状态、用户意图转成模型可处理的 token，再把模型输出转回操作。AI OS 的核心不是把聊天框放进系统，而是把系统状态 token 化，让模型能理解、规划和执行。

这也是为什么高端硬件、端侧模型、权限系统会变得重要。Token 不只来自用户输入，还来自摄像头、麦克风、屏幕、位置、日历、邮件、文件、浏览器、企业系统。谁能定义这些数据如何被切分、授权、压缩、缓存和调用，谁就掌握 AI Agent 的操作系统级入口。Google 重新押注 Android，不是怀旧，而是在抢 Gemini 的 token 来源和执行出口。

六、如何把 Token 理解用于自己的工作和研究

第一，把所有 AI 任务都改写成 token 流程图。不要只写“让模型分析报告”，而要拆成：输入来源是什么，如何清洗，如何切块，每块多少 token，检索多少块，系统提示多长，工具返回多长，输出预算多少，失败后是否重试。这样才能从模糊的“AI 帮我做事”进入可工程化的系统设计。

第二，建立自己的 token 预算意识。写提示词时，要区分“必要上下文”和“心理安全感上下文”。很多提示词很长，不是因为模型需要，而是因为人不放心。对研究工作而言，应该把论文、笔记、访谈、实验日志分成结构化摘要、原文片段、引用索引和问题清单，而不是整包塞给模型。

第三，把知识管理升级为可被 Agent 使用的上下文管理。个人和团队都应该维护高质量的知识单元：每个项目的目标、关键假设、数据来源、决策记录、术语定义、实验结果、未解决问题。它们不一定都进入模型，但必须能够被检索、压缩和引用。未来的研究能力，很大程度上取决于一个人是否能把自己的知识资产组织成高质量 token 供给。

第四，把 token 指标纳入产品和研究评估。对产品团队，关注单位任务成本、平均上下文长度、缓存命中率、检索命中率和无效输出率；对研究者，关注材料覆盖率、引用准确率、压缩损失、长上下文稳定性和多轮任务漂移。Token 是观察 AI 系统行为的显微镜。

第五，警惕“长上下文万能论”。更大的窗口会带来新机会，但不会自动带来可靠性。真正有价值的是“少而准”的上下文组织能力：让模型看到完成任务所需的最小充分信息，并在需要时通过工具取回更多证据。

结语

原文说，Android 正在变成 Gemini 的硬件骨架。沿着这个判断继续往下看，我们会发现：Token 正在变成 AI Agent 的认知骨架。硬件决定模型能在哪里运行，Token 决定模型能看见什么、记住什么、调用什么、花费多少、执行到哪里。

因此，理解 Token 不应停留在“多少字等于多少 token”的入门层面。它是语言与计算之间的接口，是 AI 应用的成本账本，是上下文工程的最小单位，也是 Agent 时代组织知识和设计工作流的基础设施。对个人研究者而言，Token 意味着重新整理知识、问题和证据；对产品经理而言，Token 意味着重新定义交互、成本和权限；对工程师而言，Token 意味着重新设计架构、缓存、检索和执行链。

AI Agent 快速发展的未来几年，真正的竞争不只是模型参数大小，也不是谁的聊天框更会说话，而是谁能更高质量地生产、选择、压缩、缓存、验证和利用 Token。谁掌握了 Token 的本质，谁就更接近掌握 AI 时代的工作方法。

参考资料

• 极客公园：《谷歌开了一场「读作 Android，写作 Gemini」的硬件发布会》，2026 年 5 月 13 日
• OpenAI Help Center: What are tokens and how to count them?
• Google AI for Developers: Understand and count tokens, Gemini API
• Sennrich, Haddow, Birch: Neural Machine Translation of Rare Words with Subword Units
• Google SentencePiece: Unsupervised text tokenizer for neural network-based text generation
• OpenAI API: Prompt Caching
• Anthropic Docs: Prompt caching
• A Survey of Context Engineering for Large Language Models, 2025